Противно на докладите, OpenAI вероятно не изгражда AI, застрашаващ човечеството

Изобретил ли е OpenAI AI технология с потенциала да „застраши човечеството“? От някои от последните заглавия може да сте склонни да мислите така.

Ройтерс и The Information за първи път съобщиха миналата седмица, че няколко служители на OpenAI са отбелязали в писмо до борда на директорите на стартъпа на AI, „умелост“ и „потенциална опасност“ от вътрешен изследователски проект, известен като „Q*“. Този AI проект, според доклада, би могъл да реши определени математически проблеми – макар и само на ниво начално училище – но според изследователите имаше шанс да се изгради към неуловим технически пробив.

Има сега се обсъжда дали бордът на OpenAI някога е получил такова писмо -- The Verge цитира източник, който предполага, че не е. Но оформянето на Q* настрана, Q* в действителност може да не е толкова монументално – или заплашително – колкото звучи. Може дори да не е ново.

Изследователите на AI в X (бивш Twitter), включително главният учен на Meta в областта на AI Yann LeCun, веднага бяха скептични, че Q* е нещо повече от продължение на съществуващата работа в OpenAI – и други изследователски лаборатории за изкуствен интелект. В публикация на X Рик Ламърс, който пише бюлетина на Substack Coding with Intelligence, посочи лекция за гост на MIT, която съоснователят на OpenAI Джон Шулман изнесе преди седем години, по време на която той описа математическа функция, наречена "Q*."

Няколко изследователи смятат, че „Q“ в името „Q*“ се отнася до „Q-learning“, техника на AI, която помага на модела да се учи и да се подобрява при конкретна задача, като взема – и получава възнаграждение за – конкретни "правилни" действия. Изследователите казват, че междувременно звездичката може да е препратка към A*, алгоритъм за проверка на възлите, които изграждат графика, и изследване на маршрутите между тези възли.

Моля, игнорирайте потопа от пълни глупости за Q*.
Едно от основните предизвикателства за подобряване на надеждността на LLM е да се замени прогнозирането на автоматични регресивни токени с планиране.

Почти всеки топ лаборатория (FAIR, DeepMind, OpenAI и т.н.) работи върху това и някои вече са публикували...

— Yann LeCun (@ylecun) 24 ноември 2023 г.

https: //platform.twitter.com/widgets.js

И двете съществуват от известно време.

Google DeepMind приложи Q-learning, за да изгради AI алгоритъм, който може да играе игри на Atari 2600 на човешко ниво... през 2014 г. A* води началото си от академична статия, публикувана през 1968 г. И изследователи от Калифорнийския университет в Ървайн преди няколко години проучиха подобряването на A* с Q-обучение – което може да е точно това, което OpenAI сега преследва.

Тутове от RickLamershttps://platform.twitter.com/widgets.js

Нейтън Ламбърт, изследовател в Института Алън за ИИ, каза пред TechCrunch, че вярва, че Q* е свързан с подходи в AI „най-вече [за] изучаване на математически проблеми в гимназията“ – без да унищожава човечеството.

„OpenAI дори сподели работа по-рано тази година, подобрявайки математическото мислене на езиковите модели с техника, наречена модели за възнаграждение на процеса, “ каза Ламбърт, „но това, което остава да се види, е как по-добрите математически способности правят нещо друго, освен да направят [задвижвания от AI чатбот на OpenAI] ChatGPT по-добър помощник за кодиране.“

Марк Ридл, професор по компютърни науки в Georgia Tech, беше по подобен начин критичен към докладите на Reuters и The Information за Q* – и по-широкия медиен разказ около OpenAI и стремежа му към изкуствен общ интелект (т.е. AI, който може да изпълнява всяка задача толкова добре, колкото и човек). Ройтерс, цитирайки източник, намекна, че Q* може да бъде стъпка към изкуствен общ интелект (AGI). Но изследователите – включително Riedl – оспорват това.

Хората казват, че това е Q*https://t.co/rI5dz0Maf7
Изглежда правдоподобно, въпреки че е от май 2023 г. и никой не си е загубил ума от това, нито трябва.

— Марк Ридл (@mark_riedl) 25 ноември 2023 г.

https://platform.twitter.com/widgets.js

"Няма доказателства, които да предполагат, че големи езикови модели [като ChatGPT] или друга технология, която се разработва в OpenAI, са на път към AGI или някой от сценариите за обреченост“, каза Ридъл пред TechCrunch. „Самият OpenAI в най-добрия случай е бил „бърз последовател“, като е взел съществуващи идеи... и е намерил начини да ги увеличи. Въпреки че OpenAI наема първокласни изследователи, голяма част от това, което са направили, може да бъде направено от изследователи в други организации. Би могло да се направи и ако изследователите на OpenAI бяха в друга организация.

Ридл, подобно на Ламбърт, не предполагаше дали Q* може да включва Q-обучение или A*. Но ако включваше или – или комбинация от двете – би било в съответствие с настоящите тенденции в изследванията на ИИ, каза той.

„Това са всички идеи, които се преследват активно от други изследователи в академичните среди и индустрията, с десетки статии по тези теми през последните шест месеца или повече", добави Ридл. „Малко вероятно е изследователите от OpenAI да са имали идеи, които да не са имали и значителен брой изследователи, които също преследват напредъка в ИИ."

Това не означава, че Q* – за което се твърди, че е участвал Иля Суцкевер, главен учен на OpenAI – може да не премести иглата напред.

Ламърс твърди, че ако Q* използва някои от техниките, описани в статия, публикувана от изследователи на OpenAI през май, може "значително" да увеличи възможностите на езиковите модели. Въз основа на статията, OpenAI може да е открил начин за контролиране на „разсъждаващите вериги“ на езиковите модели, казва Ламърс – позволявайки им да насочват моделите да следват по-желани и логично здрави „пътища“ за постигане на резултати.

„Това би направило по-малко вероятно моделите да следват „чуждо за човешкото мислене“ и фалшиви модели, за да стигнат до злонамерени или грешни заключения“, каза Ламърс. „Мисля, че това всъщност е победа за OpenAI по отношение на подравняването... Повечето изследователи на ИИ са съгласни, че имаме нужда от по-добри начини за обучение на тези големи модели, така че да могат по-ефективно да консумират информация.“

Но каквото и да е излиза от Q*, то – и сравнително простите математически уравнения, които решава – няма да означава гибел за човечеството.

Последвайте ни в